James IV là con trai của vua James III với phu nhân Margaret của Đan Mạch, có lẽ là ông chào đời tại lâu đài Stirling. Ngay khi sinh ra, James đã nghiễm nhiên là người kế vị ngai vàng ở Scotland, và được phong là Công tước Rothesay. Năm 1474, cha ông sắp đặt hôn thú cho ông với công chúa Cecily của nước Anh[1].

Cha của James IV, đức vua James III là một vị ít được biết đến và và phải đối mặt với hai cuộc nổi loạn lớn trong thời gian cai trị. Cuộc đàm phán hôn nhân và tiền hồi môn dẫn đến cuộc xâm lược Scotland của nước Anh và vụ bắt giữ Berwick được thực hiện bởi người chú của nhà vua, Alexander, Công tước xứ Albany và Richard, Công tước xứ Gloucester trong lúc đó James vẫn ở Stirling. Quân đội của James III nổi dậy chống lại đức vua và quân Anh cũng tiến đến đánh Edinburgh[2].

Năm 1488, các quý tộc Scotland lại tiến hành nổi loạn và lập James, năm đó mới 15 tuổi làm vua, chống lại vua James III. Ngày 11 tháng 6 cùng năm, nhà vua James III bị giết trong trận Sauchieburn, và đến ngày 24 tháng 6, James cử hành lễ gia miện tại Scone. Khi trưởng thành hơn, ông nhận ra vai trò gián tiếp mà mình trong cái chết của phụ vương, vì thế đã quyết định tự trừng phạt mình bằng cách mặc một dây xích sắt ngang hông, và thường cầu nguyện, sám hối vào mỗi mùa chay[3].